Non-convex AC optimal power flow (AC-OPF) is a fundamental optimization problem in power system analysis. The computational complexity of conventional solvers is typically high and not suitable for large-scale networks in real-time operation. Hence, deep learning based approaches have gained intensive attention to conduct the time-consuming training process offline. Supervised learning methods may yield a feasible AC-OPF solution with a small optimality gap. However, they often need conventional solvers to generate the training dataset. This paper proposes an end-to-end unsupervised learning based framework for AC-OPF. We develop a deep neural network to output a partial set of decision variables while the remaining variables are recovered by solving AC power flow equations. The fast decoupled power flow solver is adopted to further reduce the computational time. In addition, we propose using a modified augmented Lagrangian function as the training loss. The multipliers are adjusted dynamically based on the degree of constraint violation. Extensive numerical test results corroborate the advantages of our proposed approach over some existing methods.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
Increasing number of COVID-19 research literatures cause new challenges in effective literature screening and COVID-19 domain knowledge aware Information Retrieval. To tackle the challenges, we demonstrate two tasks along withsolutions, COVID-19 literature retrieval, and question answering. COVID-19 literature retrieval task screens matching COVID-19 literature documents for textual user query, and COVID-19 question answering task predicts proper text fragments from text corpus as the answer of specific COVID-19 related questions. Based on transformer neural network, we provided solutions to implement the tasks on CORD-19 dataset, we display some examples to show the effectiveness of our proposed solutions.
translated by 谷歌翻译
太阳水箱是在太阳的Ca II K摄影观测中观察到的明亮的色球环特征。这些是高磁场浓度的区域，因此是太阳的磁性活性的示踪剂，并且是研究太阳长期可变性的最重要特征之一，因为记录了一个多世纪以来的Ca II K镜头。。但是，从一个世纪的数据库中检测到份额是一项非平凡的任务，需要大量的人力资源来手动进行。因此，在这项研究中，我们提出了一种图像处理算法，该算法可以从CA II K摄影观测中识别出太阳份量。拟议的研究已在Kodaikanal太阳能天文台的档案数据上实施。为了确保算法有效，无论噪声水平，亮度和其他图像属性如何，我们从数据存档中随机绘制图像样本以测试我们的算法。
translated by 谷歌翻译
仇恨语音检测的最先进方法通常在室外设置中表现出较差的性能。通常，这是由于分类器过度强调特定于源的信息，从而对其域的不变性产生负面影响。先前的工作试图使用功能归因方法从手动策划的列表中惩罚与仇恨语音有关的条款，该方法量化了分类器在做出预测时分配给输入术语的重要性。取而代之的是，我们提出了一种域适应方法，该方法会使用域分类器自动提取和惩罚特定于源的术语，该域分类器学会区分域和仇恨语音类别的功能 - 属性分数，从而在交叉域评估中始终如一地改进。
translated by 谷歌翻译
太阳能动力学天文台（SDO）是NASA多光谱十年的长达任务，每天都在日常产生来自Sun的观测数据的trabytes，以证明机器学习方法的潜力并铺路未来深空任务计划的方式。特别是，在最近的几项研究中提出了使用图像到图像翻译实际上产生极端超紫罗兰通道的想法，这是一种增强任务较少通道的提高任务的方法，并且由于低下链接而减轻了挑战。深空的速率。本文通过关注四个通道和基于编码器的建筑的排列来研究这种深度学习方法的潜力和局限性，并特别注意太阳表面的形态特征和亮度如何影响神经网络预测。在这项工作中，我们想回答以下问题：可以将通过图像到图像翻译产生的太阳电晕的合成图像用于太阳的科学研究吗？分析强调，神经网络在计数率（像素强度）上产生高质量的图像，通常可以在1％误差范围内跨通道跨通道重现协方差。但是，模型性能在极高的能量事件（如耀斑）的对应关系中大大减少，我们认为原因与此类事件的稀有性有关，这对模型训练构成了挑战。
translated by 谷歌翻译
扩散模型是图像产生和似然估计的最新方法。在这项工作中，我们将连续的时间扩散模型推广到任意的Riemannian流形，并得出了可能性估计的变异框架。在计算上，我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外，在概括欧几里得案例时，我们证明，最大化该变异的下限等效于Riemannian得分匹配。从经验上讲，我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力，例如球体，Tori，双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。
translated by 谷歌翻译
Lipschitz Bound估计是使深度神经网络正规化以使其可抵抗对抗性攻击的有效方法。这在从加强学习到自主系统的各种应用中很有用。在本文中，我们强调了卷积神经网络（CNN）获得非平凡的Lipschitz结合证书的显着差距，并通过广泛的图形分析在经验上支持它。我们还表明，可以使用展开的卷积层或Toeplitz矩阵将卷积神经网络（CNN）转换为完全连接的网络。此外，我们提出了一种简单的算法，以显示实际Lipschitz常数和所获得的紧密结合之间的特定数据分布中现有的20x-50x差距。我们还对各种网络体系结构进行了一组彻底的实验，并在MNIST和CIFAR-10等数据集上进行基准测试。所有这些建议都通过广泛的测试，图形，直方图和比较分析来支持。
translated by 谷歌翻译
连续归一化流（CNF）是一类生成模型，可以通过求解普通的微分方程（ODE）将先验分布转换为模型分布。我们建议通过最大程度地减少概率路径差异（PPD）来训练CNF，这是CNF产生的概率密度路径与目标概率密度路径之间的新型差异家族。 PPD是使用对数质量保护公式制定的，该公式是线性的一阶部分微分方程，将对数目标概率和CNF的定义向量场进行配方。 PPD比现有方法具有多个关键好处：它避免了在迭代中解决颂歌的需求，很容易应用于歧管数据，比例到高维度，并与大型目标路径兼容，该目标路径在有限的时间内插值纯噪声和数据。从理论上讲，PPD显示为结合经典概率差异。从经验上讲，我们表明，通过最小化PPD实现最新的CNF在现有的低维歧管基准上获得了最新的可能性和样品质量，并且是生成模型以扩展到中度高维歧管的第一个示例。
translated by 谷歌翻译
保存隐私的神经网络（NN）推理解决方案最近在几种提供不同的延迟带宽权衡的解决方案方面获得了重大吸引力。其中，许多人依靠同态加密（HE），这是一种对加密数据进行计算的方法。但是，与他们的明文对应物相比，他的操作即使是最先进的计划仍然很慢。修剪NN模型的参数是改善推理潜伏期的众所周知的方法。但是，在明文上下文中有用的修剪方法可能对HE案的改善几乎可以忽略不计，这在最近的工作中也证明了这一点。在这项工作中，我们提出了一套新颖的修剪方法，以减少潜伏期和记忆要求，从而将明文修剪方法的有效性带到HE中。至关重要的是，我们的建议采用两种关键技术，即。堆积模型权重的置换和扩展，使修剪能够明显更多的密封性下文并分别恢复大部分精度损失。我们证明了我们的方法在完全连接的层上的优势，其中使用最近提出的称为瓷砖张量的包装技术填充了权重，该技术允许在非相互作用模式下执行Deep NN推断。我们在各种自动编码器架构上评估了我们的方法，并证明，对于MNIST上的小均值重建损失为1.5*10^{ - 5}，我们将HE-SEAMABLE推断的内存要求和延迟减少了60％。
translated by 谷歌翻译